Do LLMs Understand Sequential Structure? A Controlled Study of Inference and Generation
LLM 是否理解序列结构？推理与生成的受控研究
🧭 LLM 序列理解与行为模拟评估
University of Illinois Urbana-Champaign · Stony Brook University · National Chengchi University
受控实验表明 LLM 对潜在序列结构的识别与生成存在显著落差，表面行为保真可能掩盖错误机制
📌 工作参考价值（4 点）
- 在用户行为模拟（如生成模拟点击/浏览序列用于离线评估）中，不要只看动作分布或边际频率：应评估条件依赖，例如给定历史动作后下一个动作的准确率、校准度或 n-gram 条件命中率，否则表面分布匹配可能掩盖错误机制。
- 用 LLM 作为推荐系统用户模拟器时，即使生成序列看起来合理，也可能未学到真实状态转移。建议增加干预测试：修改历史上下文并观察下一个动作是否符合预期规则，或设计探测任务来验证隐式策略是否正确。
- 现实业务序列往往含高阶依赖，而论文显示 LLM 在高阶依赖下规则恢复明显退化。因此当用户行为序列较长、依赖复杂时，不宜完全依赖 LLM 的隐式序列建模，可考虑混合架构：LLM 负责语义/意图，专用序列模型（如 RNN、状态机）负责状态转移和条件依赖。
- 若用 LLM 做多轮 query 改写或对话推荐，长上下文不一定提升潜在意图识别；应显式设计条件推理评估，并谨慎依赖 LLM 对长期依赖的内隐建模。